AI in Search Reduces Publisher Referrals Without Improving User Experience: Experimental Evidence
生成式AI搜索降低发布者点击且未改善体验:实验证据
🧭 生成式AI搜索的因果效应评估
University of Pennsylvania · Northeastern University
基于1,100人的预注册田野实验,证明Google AI搜索减少发布者点击,AI Mode还损害体验与信任
📌 工作参考价值(4 点)
- 在搜索/推荐结果页引入LLM摘要或对话式回答时,必须同时观测下游详情页、广告、商家页的CTR和GMV;本实验显示AI Overviews会系统性蚕食外部点击,不能只看搜索侧满意度。
- 完全“无链接”的AI Mode会显著降低用户信任与体验,电商搜索应保留原文链接、商品卡片等可点击出口,采用混合UI而非纯答案界面。
- 可复用其预注册现场实验设计:在真实搜索引擎上通过浏览器扩展随机屏蔽/保留AI功能,估计因果效果;对AI搜索/推荐功能灰度可用类似RCT,避免观察性偏差。
- 生成式推荐/Agent回答场景需监控“答案终结率”和后续跳转率,防止Agent直接给结论抑制用户探索和交易路径,必要时加入引用、相关推荐、追问按钮来平衡信息效率与商业流量。